Cuối năm 1976 trong cuộc họp Đại hội lần thứ tư của Đảng, ông Hoan do có những suy nghĩ lệch lạc trái với quan điểm của Đảng và được cho là "tự diễn biến" nên không những không còn được bổ vào bộ chính trị mà còn, như một số đông người khác được cho là thân Trung Quốc, bị loại ra khỏi Ban Chấp hành Trung ương. Ông Hoan cho đây là do đường lối chính trị của Lê Duẩn, ông gọi là "âm mưu biến Việt Nam thành một nước bá chủ ở Đông Dương và ở Đông Nam Á", mà Lê Duẩn biết là sẽ bị sự phản đối mạnh của Trung Quốc.[15] ông Hoàng Văn Hoan, năm 1979 sau chiến tranh Việt Trung, trong một chuyến đi sang Đông Đức chữa bệnh, đã bỏ trốn sang Trung Quốc. Sau sự kiện bỏ trốn, ông bị Việt Nam kết án tử hình vắng mặt và trở thành "biểu tượng của sự phản bội", đài báo Việt Nam so sánh ông với Lê Chiêu Thống.[6]